iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 19
0
自我挑戰組

邊緣學渣的python自學日記系列 第 19

網路爬蟲(Crawler)基本介紹

  • 分享至 

  • xImage
  •  

一.介紹:

在這個資訊爆炸的時代,在網路上隨機搜尋一個名詞都會跳出好幾個結果,人的時間與處理能力往往沒辦法將這些資料好好的吸收、整理,這時候網路爬蟲就派上用場了,網路爬蟲利用HTTP Request 抓取網路資料,只要設定好動作,網路爬蟲就會一直重複執行動作瀏覽網頁,並且收集、送出使用者需要的資料

二.網路爬蟲的應用:

1.分析時事與大眾意向:網路爬蟲可以取得社群網站上的內容,了解大眾所關注的事件,與分析大眾的意見,對於選舉、 投資來說會是非常方便的統計資料
2.分析股市:網路爬蟲可以有效率收集股市走向資料,幫助使用者分析股市
https://ithelp.ithome.com.tw/upload/images/20191004/20121025NnnBXcXmHc.png

↑現在使用網路爬蟲來分析資料的平台已經非常多,功能也十分多種,分析文字、圖片、訂票...等等非常的廣泛

三.網路爬蟲該注意的事:

因為大量且快速地瀏覽網頁常常會導致伺服器負擔過重,所以很多伺服器會限制連線來避免遭受網路爬蟲攻擊,而限制的方法也有所不同,因此在製作網路爬蟲的時候務必要遵守各個伺服器的規則,才不會造成別人的困擾,甚至惹禍上身


上一篇
實體方法
下一篇
實作網路爬蟲
系列文
邊緣學渣的python自學日記30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言